Khoan giếng đã có từ rất sớm từ những năm trước Công nguyên khi xây dựng kim tự tháp, khai thác muối ở Ai Cập, Trung Hoa. Thông thường khoan được thực hiện theo phương pháp thủ công, chủ yếu là các giếng khoan nông vài m.

Từ cuối thế kỷ 19 và đầu thế kỷ 20 khi có động cơ hơi nước và diêzen mới sử dụng khoan bằng thiết bị máy móc đã cho phép khoan với các giếng khoan có chiều sâu lớn, tốc độ cao và lấy mẫu đất đá trong các giếng khoan.

Ở Việt Nam ngành khoan giếng đã có từ thời kỳ Pháp thuộc, các kỹ sư người Pháp đã tiến hành khoan khảo sát địa chất công trình, khoan các giếng khai thác nước ngầm cấp nước sạch phục vụ cho sinh hoạt đô thị và sản xuất bia rượu. Đến năm 1955 ngành khoan phát triến, năm 1966 có chuyên ngành khoan giảng dạy tại trường Đại học Mỏ địa chất Hà Nội.